b1 b2 b3
a1 "3,6" "4,6" "5,1"
a2 "2,1" "1,6" "2,4"
a3 "1,1" "1,5" "5,4"
経済学のための機械学習入門
“経済モデル”を予測性能の観点から評価
(Fudenberg and Liang 2019) : ゲーム理論(同時手番2Player)への応用
二人のプレイヤーが同時に”戦略 \{1,2,3\}“を選ぶ
戦略の組み合わせによって、利得を得る
b1 b2 b3
a1 "3,6" "4,6" "5,1"
a2 "2,1" "1,6" "2,4"
a3 "1,1" "1,5" "5,4"
ゲーム理論は、さまざまな均衡予測を提供
予測 + その理由(解釈)を提供
同じゲームを繰り返すと、理論予測に収束する場合も多い
最初にプレイされるゲームの戦略は予測が難しい
純粋に予測のみを目的とした教師付き学習の予測にどこまで(どうすれば)迫れるか?
実験室実験のデータについて予測を行うと
伝統的な均衡概念 (Uniform Nash, Level-1)は、 Baggingによる予測に負ける
Level-1は、Nash均衡に比べて、かなりBaggingに迫る予測を得られる
計量経済学入門: 「Well-specified Modelを推定」が前提
Miss-specified Modelの可能性を考慮すると?
教師付き学習: 十分に複雑なモデルからスタートすることで、 Miss-specificationの可能性緩和
\beta を適切に選べば、 E_P[Y|X]=g(X)
一致性、普遍性を満たす
手近な学部中級以上のテキストで確認可能
Y-g(X)=\underbrace{Y-E_P[Y|X]}_{Irreducible}
+\underbrace{E_P[Y|X]-g_{\infty}(X)}_{ApproximationError}
+\underbrace{g_{\infty}(X) - g(X)}_{EstimationError}
Y-g(X)=Y-E_P[Y|X]
+\underbrace{E_P[Y|X]-g_{\infty}(X)}_{=0\ :\ Consistency}
+\underbrace{g_{\infty}(X) - g(X)}_{\sim N(0,\sigma^2)\ :\ AsymptoticNormality}
Y-g(X)=Y-E_P[Y|X]
+\underbrace{E_P[Y|X]-g_{\infty}(X)}_{=0 \:\ Consistency}
+\underbrace{g_{\infty}(X) - E[g(X)]}_{=0\ :\ Bias}
\underbrace{E[g(X)] - g(X)}_{\sim N(0,\sigma^2)\ :\ Variance}
\beta をどう選んでも、 E_P[Y|X]\neq g(X)
g_{\infty}(X)=? (何を推定しているのか?)
g_\infty(X)=g^{BLP}(X):=\beta_0^{BLP}+..+\beta_L^{BLP}X_L
\min_{\beta_0^{BLP},..,\beta_L^{BLP}} E_P[(Y-g^{BLP}(X))^2]
母集団上での仮想的な回帰結果
OLS = 母集団の記述統計であるBLPの推定と解釈
研究者が設定したモデルに依存するが、母集団上で定義可能
母分布 f_P(Y,X) の部分的に要約する
母平均 E_P[Y] : BLPの特殊ケース g_{BLP}(X)=\beta_0^{BLP}
予測研究への応用: 母集団の記述統計量を推定する手法を流用
Y-g(X)=Y-E_P[Y|X]
+\underbrace{E_P[Y|X]-g_{BLP}(X)(:=g_{\infty}(X))}_{\neq 0}
+\underbrace{g_{BLP}(X) - E[g(X)]}_{=0}
+\underbrace{E[g(X)]-g(X)}_{\sim N(0,\sigma^2)}
Y-g(X)=Y-E_P[Y|X]
+\underbrace{E_P[Y|X]-g_{BLP}(X)}_{\neq 0}
+\underbrace{g_{BLP}(X) - E[g(X)]}_{=0}
+\underbrace{E[g(X)]-g(X)}_{増加}
Approximation Error VS Variance
教師付き学習の多くの手法とは異なる
緩やかな条件で一致性が成り立つ (RandomForest/決定木については、Chi et al. (2022) とその引用文献などを参照)
Bias VS Variance
十分に複雑なモデルから始めると、 Approximation Error \sim 0
Y-g(X)=Y-E_P[Y|X]
+\underbrace{E_P[Y|X]-g_{\infty}(X)}_{\sim 0 }
+\underbrace{g_{\infty}(X) - E[g(X)]}_{\neq 0}
+\underbrace{E[g(X)]-g(X)}_{減少}
OLS推定の解釈は、母集団の”記述統計量 BLP”を推定していると一般化可能
-「Well-specificationである」という特殊ケースにおいて、条件付き平均値を推定している
最悪でも”BLP”という母集団で定義可能かつ “解釈可能”な値を推定しているので、今でもよく使われる
最尤法についてもよく似た解釈は可能だが、ベイズは? (Buja, Brown, Berk, et al. 2019; Buja, Brown, Kuchibhotla, et al. 2019)